Convolutional neural networks (CNN) define the state-of-the-art solution on many perceptual tasks. However, current CNN approaches largely remain vulnerable against adversarial perturbations of the input that have been crafted specifically to fool the system while being quasi-imperceptible to the human eye. In recent years, various approaches have been proposed to defend CNNs against such attacks, for example by model hardening or by adding explicit defence mechanisms. Thereby, a small "detector" is included in the network and trained on the binary classification task of distinguishing genuine data from data containing adversarial perturbations. In this work, we propose a simple and light-weight detector, which leverages recent findings on the relation between networks' local intrinsic dimensionality (LID) and adversarial attacks. Based on a re-interpretation of the LID measure and several simple adaptations, we surpass the state-of-the-art on adversarial detection by a significant margin and reach almost perfect results in terms of F1-score for several networks and datasets. Sources available at: https://github.com/adverML/multiLID
translated by 谷歌翻译
Despite the success of convolutional neural networks (CNNs) in many academic benchmarks for computer vision tasks, their application in the real-world is still facing fundamental challenges. One of these open problems is the inherent lack of robustness, unveiled by the striking effectiveness of adversarial attacks. Current attack methods are able to manipulate the network's prediction by adding specific but small amounts of noise to the input. In turn, adversarial training (AT) aims to achieve robustness against such attacks and ideally a better model generalization ability by including adversarial samples in the trainingset. However, an in-depth analysis of the resulting robust models beyond adversarial robustness is still pending. In this paper, we empirically analyze a variety of adversarially trained models that achieve high robust accuracies when facing state-of-the-art attacks and we show that AT has an interesting side-effect: it leads to models that are significantly less overconfident with their decisions, even on clean data than non-robust models. Further, our analysis of robust models shows that not only AT but also the model's building blocks (like activation functions and pooling) have a strong influence on the models' prediction confidences. Data & Project website: https://github.com/GeJulia/robustness_confidences_evaluation
translated by 谷歌翻译
气溶胶颗粒通过吸收和散射辐射并影响云特性在气候系统中起重要作用。它们也是气候建模的最大不确定性来源之一。由于计算限制,许多气候模型不包括足够详细的气溶胶。为了表示关键过程,必须考虑气雾微物理特性和过程。这是在使用M7 Microphysics的Echam-Ham全球气候气溶胶模型中完成的,但是高计算成本使得以更精细的分辨率或更长的时间运行非常昂贵。我们的目标是使用机器学习以足够的准确性模仿微物理学模型,并通过在推理时间快速降低计算成本。原始M7模型用于生成输入输出对的数据以训练其上的神经网络。我们能够学习变量的平均$ r^2 $得分为$ 77.1 \%$ $。我们进一步探讨了用物理知识为神经网络提供信息和限制的方法,以减少群众侵犯并实施质量积极性。与原始型号相比,在GPU上,我们达到了高达64倍的加速。
translated by 谷歌翻译
地震处理通常需要抑制收集数据时出现的倍数。为了解决这些工件,从业人员通常依靠基于ra的转换算法作为移民后的调节。但是,这种传统方法既耗时又依赖参数,使其相当复杂。在这项工作中,我们提出了一种基于学习的替代方案,可提供竞争成果,同时降低其用法的复杂性,从而使其适用性民主化。尽管仅接受合成学培训,但在推断复杂的现场数据时,我们在推断复杂的现场数据时会观察到出色的性能。此外,广泛的实验表明,我们的建议可以保留数据的固有特征,避免了不希望的过度平滑结果,同时删除了倍数。最后,我们对模型进行了深入的分析,在此分析中,我们可以确定主要的超参数具有物理事件的影响。据我们所知,这项研究的开创者将神经网络的拆箱用于幻想过程,从而帮助用户了解网络内部运行。
translated by 谷歌翻译
在过去的几年中,卷积神经网络(CNN)一直是广泛的计算机视觉任务中的主导神经架构。从图像和信号处理的角度来看,这一成功可能会令人惊讶,因为大多数CNN的固有空间金字塔设计显然违反了基本的信号处理法,即在其下采样操作中对定理进行采样。但是,由于不良的采样似乎不影响模型的准确性,因此在模型鲁棒性开始受到更多关注之前,该问题已被广泛忽略。最近的工作[17]在对抗性攻击和分布变化的背景下,毕竟表明,CNN的脆弱性与不良下降采样操作引起的混叠伪像之间存在很强的相关性。本文以这些发现为基础,并引入了一个可混合的免费下采样操作,可以轻松地插入任何CNN体系结构:频lowcut池。我们的实验表明,结合简单而快速的FGSM对抗训练,我们的超参数无操作员显着提高了模型的鲁棒性,并避免了灾难性的过度拟合。
translated by 谷歌翻译
在生成的对策网络的背景下,在生成的对策网络的背景下是一个基本的,并且仍然很大程解除了问题是它们是否真正能够捕获真实数据分布,从而可以从中进行样本。特别地,图像分布的多维性质导致对GaN分布的多样性的复杂评估。现有方法只提供对这个问题的部分理解,留下了未解决的问题。在这项工作中,我们介绍了循环培训方案,用于系统调查的实际训练数据分布与GaN生成的数据之间的可观察变速。此外,我们介绍了几种有限的分布换档措施,这既易于计算和解释。总体而言,这些方法的组合允许探讨当前GAN算法的先天局限性的探讨。我们对不同数据集和多种最先进的GAN架构的实验显示了输入和输出分布之间的大移位,显示出对输出分布趋同的现有理论保证似乎不遵守实践。
translated by 谷歌翻译
最近,Robustbench(Croce等人2020)已成为图像分类网络的对抗鲁棒性的广泛认可的基准。在其最常见的子任务中,Robustbench评估并在Autactack(CRoce和Hein 2020b)下的Cifar10上的培训神经网络的对抗性鲁棒性与L-Inf Perturnations限制在EPS = 8/255中。对于目前最佳表演模型的主要成绩约为60%的基线,这是为了表征这项基准是非常具有挑战性的。尽管最近的文献普遍接受,我们的目标是促进讨论抢劫案作为鲁棒性的关键指标的讨论,这可能是广泛化的实际应用。我们的论证与这篇文章有两倍,并通过本文提出过多的实验支持:我们认为i)通过ICATACK与L-INF的数据交替,EPS = 8/255是不切实际的强烈的,导致完美近似甚至通过简单的检测算法和人类观察者的对抗性样本的检测速率。我们还表明,其他攻击方法更难检测,同时实现类似的成功率。 ii)在CIFAR10这样的低分辨率数据集上导致低分辨率数据集不概括到更高的分辨率图像,因为基于梯度的攻击似乎与越来越多的分辨率变得更加可检测。
translated by 谷歌翻译
最近,对AutoAtack(Croce和Hein,2020B)框架对图像分类网络的对抗攻击已经引起了很多关注。虽然AutoAtactack显示了非常高的攻击成功率,但大多数防御方法都专注于网络硬化和鲁棒性增强,如对抗性培训。这样,目前最佳报告的方法可以承受约66%的CIFAR10对抗的例子。在本文中,我们研究了自动攻击的空间和频域属性,并提出了替代防御。在推理期间,我们检测到对抗性攻击而不是硬化网络,而不是硬化网络,而不是硬化网络。基于频域中的相当简单和快速的分析,我们介绍了两种不同的检测算法。首先,黑匣子检测器只在输入图像上运行,在两种情况下,在AutoAtack Cifar10基准测试中获得100%的检测精度,并且在ImageNet上为99.3%。其次,使用CNN特征图的分析的白箱检测器,在相同的基准上的检出率也为100%和98.7%。
translated by 谷歌翻译
标准化流(NFS)是灵活的显式生成模型,已被证明可以准确地对复杂的现实世界数据分布进行建模。但是,它们的可逆性限制对存在于嵌入较高维空间中的较低维歧管上的数据分布施加局限性。实际上,这种缺点通常通过在影响生成样品质量的数据中添加噪声来绕过。与先前的工作相反,我们通过从原始数据分布中生成样品来解决此问题,并有有关扰动分布和噪声模型的全部知识。为此,我们确定对受扰动数据训练的NFS隐式表示最大可能性区域中的歧管。然后,我们提出了一个优化目标,该目标从扰动分布中恢复了歧管上最有可能的点。最后,我们专注于我们利用NFS的明确性质的3D点云,即从对数似然梯度中提取的表面正态和对数类样本本身,将Poisson表面重建应用于精炼生成的点集。
translated by 谷歌翻译
量子计算硬件的功能增加,并实现深量子电路的挑战需要完全自动化和有效的工具来编译量子电路。要以一系列与特定量子计算机体系结构有关的天然大门表达任意电路,对于使算法在量子硬件提供商的整个景观中可移植。在这项工作中,我们提出了一个能够转换和优化量子电路的编译器,针对基于穿梭的捕获离子量子处理器。它由剑桥量子计算机的量子电路框架pytket上的自定义算法组成。评估了广泛的量子电路的性能,与标准Pytket相比,与标准Qiskit汇编相比,栅极计数可以降低到3.6倍,最高为2.2,而我们获得的栅极计数与相似的栅极计数相比相比,针对AQT线性静态捕获离子地址架构的Pytket扩展。
translated by 谷歌翻译